AI Papers Daily

#Data Selection

4 篇

LESSER: Post-Training Data Selection with Output-Layer Gradients

LESSER：基于输出层梯度的后训练数据选择

🧭 训练数据选择 · 输出层梯度近似

University of Pennsylvania · University of Texas at Austin

用输出层梯度近似全参数梯度进行数据选择，降低特征提取FLOP 9.7倍/3倍且保持下游性能

📌 工作参考价值（4 点）

• 在 LLM 微调数据筛选中，只提取输出层梯度作为样本特征，避免全参数反向传播，数据选择成本大幅下降；适用于电商搜索/推荐场景下的 LLM 微调、指令数据清洗。
• 工程实现上只需 hook 模型最后一层，兼容现有 gradient-based 选择方法（如 LESS），可作为 drop-in wrapper 快速迁移，无需改变训练流程。
• 即使单个样本的梯度排序与全梯度存在差异，选出的 batch 梯度仍然对齐，因此批量训练效果稳定；可以在大规模候选池中做粗筛或迭代选择。
• 对 RLHF/DPO 等后训练数据筛选，输出层梯度可替代全梯度做相似度排序，尤其适合计算资源受限的团队进行高质量样本挑选。

Training | 2026-10-02 | cs.LG | score 7/10

Data SelectionGradient-basedPost-trainingLLMOutput-layer GradientsEfficient Training

Scalable, Transferable Meta-network for Data Selection Requires a Different Loss (and Why the Obvious Choice is Problematic)

可扩展可迁移的元网络数据选择需要不同损失

🧭 LLM 训练数据选择与迁移

Nanyang Technological University

提出TESS框架与PVM损失，解决元数据选择网络中的权重抑制与易学特征依赖，实现跨数据集跨模型迁移

📌 工作参考价值（4 点）

• 在电商/推荐/Agent 场景中，可以用小模型或子集训练一个数据选择网络，再直接用于大模型或全量语料，降低多领域语料（商品描述、搜索日志、指令数据）的清洗与配比成本。
• 工程实现上，数据打分网络建议使用 pointwise value matching 回归目标，而不是直接嵌入现有 MTS 排序或对比损失，以避免权重抑制和依赖易学特征导致的不稳定优化。
• 该方法支持跨数据集迁移，可训练一个通用数据选择器对 query 改写、商品标题生成、会话数据等异构语料动态赋权，提升指令微调效率。
• 若业务存在安全或领域定向微调需求，可复用该框架在目标验证集上自动学习数据权重，替代手工规则或启发式评分。

Training | 2026-10-01 | cs.LG | score 7/10

Data SelectionMeta-learningLLM TrainingTransferabilityPointwise Value Matching

Can Generalist Agents Automate Data Curation?

通用 Agent 能否自动化数据策展？

🧭 Agent 自动化数据策展评估 ★ 深度解读

Virginia Tech · University of Illinois Urbana-Champaign · University of Wisconsin-Madison · University of California, Berkeley

引入 CURATION-BENCH 基准，发现通用 Agent 能执行数据策展但探索窄，方法适应支架可引导突破

📌 工作参考价值（4 点）

• 在推荐数据管道中引入 method-adaptation scaffold：强制 Agent 每轮迭代引用、适配一项已有方法，可避免陷入局部超参（如域权重）调整，驱动真正的新策略探索。
• 将 迭代式数据策展 作为新的计算维度：当数据预算固定时，将额外算力投入搜索更优的数据子集或重写策略，可能优于直接训练更多数据，这在电商推荐中可用于高效利用有限交互样本。
• CURATION-BENCH 的 数据隔离 + 污染审计 + 轨迹诊断 设计，可直接迁移到构建推荐数据选择 Agent 的测试框架，确保可比性与可审查性。
• 轻量策略列表（源平衡、质量过滤、多样性采样等） 可帮助 Agent 快速生成候选，但需配合约束性协议（如强制证据锚定）才能真正改变执行行为，避免“vibe optimization”。

Agent | 2026-06-01 | HF Daily | score 8/10

Data CurationAgentBenchmarkScaffoldData Selection

Preference-aware Influence-function-based Data Selection Method for Efficient Fine-Tuning

偏好感知影响函数引导的高效微调数据选择

🧭 数据选择 · 影响函数 · 偏好感知 ★ 深度解读

Shanghai Artificial Intelligence Laboratory

利用当前模型对目标示例的偏好加权构造目标方向，通过影响函数评分选择最有价值样本，提升微调数据效率

📌 工作参考价值（4 点）

• 在生成式推荐微调中，可用当前推荐模型对目标行为的响应概率作为权重，聚焦模型“附近”的高价值样本，避免均匀聚合造成的方向偏差。
• 影响函数评分公式 $s(z) = g_z^\top H_{\lambda}^{-1} g_{\text{KL}}$ 可直接嵌入现有微调流水线，配合 LoRA 等高效更新计算梯度，用于预算有限下的训练样本选择。
• 安全修复场景下，该方法能有效识别并移除导致有害行为的微调数据，可迁移到电商内容审核或多智体行为对齐中的训练数据清洗。
• 理论保证了一阶最优性：选择偏好加权方向下的 Top-$m$ 样本能最大化目标行为偏好的局部提升，为策略提供可靠依据。

Training | 2026-05-20 | cs.LG | score 8/10

Data SelectionInfluence FunctionPreference WeightingEfficient Fine-TuningSafety RepairLLM